分类器整体介绍
Published in:2023-12-14 | category: 经典深度神经网络

1 图像表示

  • 基础像素表示
  • 全局特征表示 如GIST 比较适合风景类,室内场景,城市建筑。要依赖所有像素,对于如遮挡一类问题就不太适合了
  • 局部特征表示 如GIST

2012年前,就要找到一个很好的特征,但对于神经网路而言是无所谓的

2 分类模型

我们学习神经网络在学些什么?

其实就是在学

  1. 这每一类分类器的优势,适用于哪些场合
  2. 这每一类分类器的原理,从而我们对于分类器做出合理的调整来解决具体问题

常见分类器

  • 近邻分类器
  • 贝叶斯分类器
  • 线性分类器
  • 支撑向量机分类器
  • 神经网络分类器
  • 随机森林
  • Adaboost
    sd

3 损失函数

常见的损失函数

  • 0-1 损失
  • 多类支撑向量机损失
  • 交叉熵损失
  • L1损失
  • L2损失

4 优化方法

一阶方法

  • 梯度下降
  • 随机梯度下降
  • 小批量随机梯度下降

二阶方法

  • 牛顿法
  • BFGS
  • L-BFGS

训练过程本身

  • 数据集划分
  • 数据预处理
  • 数据增强
  • 欠拟合与过拟合
  • 超参数调整
  • 模型集成1
Prev:
机器学习导读 概念介绍
Next:
嵌入式系统(十)直接访问内存DMA